Fix broken build on AIX 7.2

Without this fix, the build on AIX 7.2 with xlc fails in the ‘CCLD
temacs’ step with the diagnostic ‘ld: 0711-317 ERROR: Undefined
symbol: BC’.  This is because -lcurses does not define BC etc.
* configure.ac: When building terminfo.o, define
TERMINFO_DEFINES_BC if the library defines BC etc.
* src/terminfo.c (UP, BC, PC): Define depending on
TERMINFO_DEFINES_BC, not on TERMINFO.

Fix last change

* doc/lispref/strings.texi (Creating Strings): Improve wording of
last change.  (Bug#45516)

Add a reference between the Strings node and Search/Replace

* doc/lispref/strings.texi (Creating Strings): Mention
string-replace/replace-regexp-in-string (bug#45516).

(cherry picked from commit b9359d4183a1a6923122d3aa12b922ab89693354)

Merge branch 'emacs-27' of git.savannah.gnu.org:/srv/git/emacs into emacs-27

; Auto-commit of loaddefs files.

Add warning comments abound binding keys in Isearch maps

* lisp/isearch.el (isearch-mode-map)
(minibuffer-local-isearch-map): Add comments which warn against
wantonly rebinding unbound keys.

Fix crash in ns_mouse_position (bug#45541)

* src/nsterm.m (ns_mouse_position): Explicitly initialize f to NULL.

; Do not merge to master

Fix copyright years by hand

These are dates that admin/update-copyright did not update.

Update copyright year to 2021

Run "TZ=UTC0 admin/update-copyright $(git ls-files)".

Improve documentation of 'network-lookup-address-info'

* src/process.c (Fnetwork_lookup_address_info):
* doc/lispref/processes.texi (Misc Network): Document the error
message emitted by 'network-lookup-address-info' when it fails.

Display messages sent using ERC's /say

* lisp/erc/erc.el (erc-cmd-SAY): Call `erc-display-msg' to display the
user's message in the buffer, just like other [non-command] messages.

https://lists.gnu.org/r/help-gnu-emacs/2020-12/msg00066.html

Fix Rmail summary display when From: header is malformed

* lisp/mail/rmailsum.el (rmail-header-summary): Remove newlines
from the "From:" value, to avoid producing corrupted summary
display.

; lisp/org/org.el: Fix Version header.

This is flagged by the single org test that exists in Emacs.

Add more details to the "word processor" section

* etc/TODO (Emacs as word processor): Add more details based on
recent discussions.

* src/Makefile.in (DO_CODESIGN): Fix expected architecture name.

Codesign the executable on recene MacOS systems

* src/Makefile.in (temacs$(EXEEXT)): Codesign the executable on
recent (ARM) MacOS systems (bug#43878).  Without this, building
Emacs fails.

Copyright-paperwork-exempt: yes

Support build of Emacs on ARM Macos machines

* configure.ac: Add support for aarch64-* on Macos (i.e., 64-bit
ARM) (bug#43369).

Update to Org 9.4.4

* lisp/so-long.el: Decrease use of passive voice.

Suggested by Richard Stallman <rms@gnu.org>.

* doc/misc/efaq.texi (New in Emacs 27): Add section.

* doc/misc/efaq.texi (Latest version of Emacs): Bump version.

* lisp/face-remap.el (face-remap-set-base): Doc fix.  (Bug#45264)

Correct argument order in comment

* etc/ETAGS.EBNF (position): Correct comment.

Update files for the 27.1.90 pretest

* README:
* configure.ac:
* nt/README.W32:
* msdos/sed2v2.inp: Bump Emacs version to 27.1.90.
* lisp/ldefs-boot.el: Update from loaddefs.el

Minor fixes in authors.el and in tarball-making instructions

* admin/authors.el (authors): Make the error message more helpful.
(authors-ignored-files, authors-renamed-files-alist): Update.

; Add a new item to TODO

* etc/TODO (redisplay): Add an item for making redisplay cycle
more scalable when there are many frames.

Improve documentation of 'query-replace'

* doc/emacs/search.texi (Query Replace): Add 'E' to the list of
characters one can type at 'query-replace' prompt.  (Bug#45273)

Update to Org 9.4.3

Fix #45259

Fix error with fn key in NS port (bug#44533)

* src/nsterm.m ([EmacsView keyDown:]): Move the correction for fn key
handling to before the modifiers are calculated.

(cherry picked from commit 7970610d48701a949ce443c94c71eac47d044197)

Fix point location when completing in gdb-mi.el

* lisp/progmodes/gdb-mi.el (def-gdb-auto-update-handler): Don't
force window-start position, so that redisplay doesn't move point
when popping completion window below the GUD one.  (Bug#45052)

Update to Org 9.4.2

Mostly fixing compiler warnings.

Update to Org 9.4.1

Fix crash in ns_mouse_position (bug#44313)

* src/nsterm.m (ns_destroy_window): Close the window before freeing
the frame resources so we don't end up accessing the frame struct
after it's been freed.

(cherry picked from commit 18a7267c32a909bb26bd93d24543155aeb10e042)

Fix crash when using XRender and restoring image from X (bug#44930)

* src/dispextern.h (struct image): Add original dimension elements.
* src/image.c (image_set_transform): Store the original dimensions.
(image_get_x_image): If we're using transforms use the original
dimensions with XGetImage.

Bind k to image-kill-buffer in doc-view-mode-map.

* lisp/doc-view.el (doc-view-mode-map): Bind k to image-kill-buffer.
The binding k -> doc-view-kill-proc-and-buffer has been removed in
2015 and the function been made an obsolete function alias to
image-kill-buffer (bug#45157).

Fix crash (segfault) in etags on generating tags for Erlang files

* lib-src/etags.c: Set allocated and lastlen to zero, after
freeing last ptr in Erlang_functions to prevent dereferencing NULL
pointer (bug#45122).

Copyright-paperwork-exempt: yes

(cherry picked from commit 2d8f0364fcd1d5dad2b82dd3a9af870b03854547)

Update publicsuffix.txt from upstream

* etc/publicsuffix.txt: Update from
https://publicsuffix.org/list/public_suffix_list.dat
dated 2020-11-30 21:57:25 UTC.

* lisp/vc/vc.el: Update args of backend API calls in the header comments

https://lists.gnu.org/archive/html/emacs-devel/2020-12/msg00283.html

Backport Handle read-char-from-minibuffer and y-or-n-p from pre-command-hook

* lisp/subr.el (read-char-from-minibuffer-insert-char)
(read-char-from-minibuffer-insert-other, y-or-n-p-insert-y)
(y-or-n-p-insert-n, y-or-n-p-insert-other):
Check for 'minibufferp' before executing the body.
(read-char-from-minibuffer, y-or-n-p): Let-bind this-command
before calling read-from-minibuffer.  (Bug#45029)

; Do not merge to master.

Improve documentation of streams in batch mode

* doc/lispref/os.texi (Batch Mode):
* doc/lispref/streams.texi (Input Streams, Output Streams): Better
documentation of I/O streams in batch mode, with more
cross-references.

Support ks_c_5601-1987 encoding

* lisp/language/korean.el (ks_c_5601-1987): Define as an alias for
'korean-iso-8bit.  (It is sometimes used in email messages.)

Fix Xaw widget text disappearing when built with cairo (bug#43418)

* lwlib/lwlib-utils.c (crxft_font_open_name): Use FcFontMatch to
get a pattern to pass to cairo_ft_font_face_create_for_pattern.

Improve documentation of 'ps-print-color-p'

* doc/emacs/misc.texi (PostScript Variables): Improve and clarify
the description of 'ps-print-color-p'.  (Bug#44962)

; * lisp/simple.el (move-beginning-of-line): Doc fix.

; * src/charset.c (Fmap_charset_chars): Doc fix.

; * src/chartab.c, src/lisp.h: Fix typos in comments.

; Auto-commit of loaddefs files.

Reset xref-show-xrefs-function temporarily

* lisp/dired-aux.el (dired-do-find-regexp-and-replace):
Make sure xref-show-xrefs-function has the necessary value (bug#44905).

Don't show in 'view-lossage' responses to xterm feature queries

* lisp/term/xterm.el (xterm--read-event-for-query): Prevent
recording the characters read as the xterm response to a query,
so as not to show them in 'view-lossage'.  (Bug#44908)

; * src/buffer.c: Fix comment describing 'buffer_defaults'.

Adapt Tramp versions.  Do not merge

* doc/misc/tramp.texi (Obtaining @value{tramp})
(Remote shell setup, Remote processes, Archive file names):
* doc/misc/trampver.texi:
* lisp/net/tramp.el:
* lisp/net/trampver.el (tramp-version)
(customize-package-emacs-version-alist): Adapt Tramp versions.

Return the correct suffix in eww-make-unique-file-name

* lisp/net/eww.el (eww-make-unique-file-name): Return the correct
suffix (bug#44936).

Save bookmarks by using `write-file' (bug#12507)

Go back to using `write-file' to save bookmarks, instead of using
`write-region'.  This means numbered backups of the bookmark file may
get made again, depending on the value of `bookmark-version-control'.

Thanks especially to Drew Adams and Eli Zaretskii for their
persistence in tracking down information relevant to this change.

Fix filing messages when 'rmail-output-reset-deleted-flag' is non-nil

* lisp/mail/rmailout.el (rmail-output): Fix off-by-one error in
deciding when to advance to the next message under non-nil
'rmail-output-reset-deleted-flag'.  (Bug#44839)

Make file copying in tramp-gvfs more robust

* test/lisp/net/tramp-tests.el (tramp-test11-copy-file)
(tramp-test12-rename-file): Do not skip for tramp-gvfs.el.

* lisp/net/tramp-gvfs.el (tramp-gvfs-do-copy-or-rename-file):
Add sanity checks.

Revert "Fix incorrect handling of module runtime and environment pointers."

This reverts commit cdc632fbe6e149318147a98cccf1b7af191f2ce8.
Those changes are too significant and non-trivial to be
suitable for a release branch at this time.

Fix incorrect handling of module runtime and environment pointers.

We used to store module runtime and environment pointers in the static
lists Vmodule_runtimes and Vmodule_environments.  However, this is
incorrect because these objects have to be kept per-thread.  With this
naive approach, interleaving module function calls in separate threads
leads to environments being removed in the wrong order, which in turn
can cause local module values to be incorrectly garbage-collected.

Instead, turn Vmodule_runtimes and Vmodule_environments into
hashtables keyed by the thread objects.  The fix is relatively
localized and should therefore be safe enough for the release branch.

Module assertions now have to walk the pointer list for the current
thread, which is more correct since they now only find environments
for the current thread.

Also add a unit test that exemplifies the problem.  It interleaves two
module calls in two threads so that the first call ends while the
second one is still active.  Without this change, this test triggers
an assertion failure.

* src/emacs-module.c (Fmodule_load, initialize_environment)
(finalize_environment, finalize_runtime_unwind): Store runtime and
environment pointers in per-thread lists.
(syms_of_module): Initialize runtimes and environments hashtables.
(module_assert_runtime, module_assert_env, value_to_lisp): Consider
only objects for the current thread.
(module_gc_hash_table_size, module_hash_push, module_hash_pop): New
generic hashtable helper functions.
(module_objects, module_push_pointer, module_pop_pointer): New helper
functions to main thread-specific lists of runtime and environment
pointers.
(mark_modules): Mark all environments in all threads.

* test/data/emacs-module/mod-test.c (Fmod_test_funcall): New test
function.
(emacs_module_init): Bind it.

* test/src/emacs-module-tests.el (emacs-module-tests--variable): New
helper type to guard access to state in a thread-safe way.
(emacs-module-tests--wait-for-variable)
(emacs-module-tests--change-variable): New helper functions.
(emacs-module-tests/interleaved-threads): New unit test.

CC Mode: Fix error in cache handling.  This fixes bug #43481

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Handle correctly END
being before HERE by using parse-partial-sexp to get the end of the literal
containing HERE.

Revert extra focus redirection in do_switch_frame (Bug#24803)

* src/frame.c (do_switch_frame): Do not also redirect frame
focus when FRAME has its minibuffer window on the selected
frame which was intended to fix Bug#24500.  It may cause
Bug#24803 and lead to a nasty state where no active cursor is
shown on any frame, see
https://lists.gnu.org/archive/html/emacs-devel/2020-11/msg01137.html.

Minor cleanup of tramp-tests.el on MS Windows

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Do not test remote pty on MS Windows.

Fix handling of defcustom :local tag

For discussion, see the following emacs-devel thread:
https://lists.gnu.org/r/emacs-devel/2020-11/msg00734.html

* lisp/custom.el (custom-declare-variable): Delay call to
make-variable-buffer-local until after user option has been
initialized with a value.  Otherwise the user option may be
initialized to nil.
* test/lisp/custom-tests.el (custom--test-local-option)
(custom--test-permanent-option): New :local user options.
(custom-test-local-option): New test for defcustom :local keyword.

CC Mode.  Fix an off by one error.  Fixes bug #41809

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Change > to >= (twice).

Fix display artifacts when 'display' properties cover newlines

* src/xdisp.c (pos_visible_p): Set glyph_row of scratch iterators
to NULL, to avoid producing glyphs while we figure out the layout.
(Bug#44826)

Sync latest SKK-JISYO.L

* leim/SKK-DIC/SKK-JISYO.L: Sync to current upstream version.

(cherry picked from commit 6a5f9700846551a7f3795e257356dbab865116f4)

Update publicsuffix.txt from upstream

* etc/publicsuffix.txt: Update from
https://publicsuffix.org/list/public_suffix_list.dat
dated 2020-10-09 08:23:34 UTC.

(cherry picked from commit 5b13afab0a903ead8363482529019d4fb80ec4b4)

Fix Bug#44481

* lisp/net/tramp.el (tramp-system-name): New defconst.
(tramp-default-host, tramp-restricted-shell-hosts-alist)
(tramp-local-host-regexp):
* lisp/net/tramp-sh.el (tramp-maybe-open-connection): Use it.  (Bug#44481)

Minor Edebug manual keystroke clarifications

* doc/lispref/edebug.texi (Edebug Misc): Also mention the `a'
binding to abort (bug#44697).  Also fix `d' function reference, and
add `P' reference.

(cherry picked from commit b613f25f97abf756101eaa2af90689a19c0b3350)

Make ignoring modifiers on IME input optional

By default, ignore modifier keys on IME input, but add
a variable to get back old behavior.
* src/w32fns.c (syms_of_w32fns): New variable
w32-ignore-modifiers-on-IME-input.
(w32_wnd_proc): Use it to ignore modifier keys when IME input is
used.  (Bug#44641)

* etc/NEWS: Announce the change and the new variable.

Ignore modifiers when processing WM_IME_CHAR messages

* src/w32fns.c (w32_wnd_proc): Ignore modifiers when processing
WM_IME_CHAR messages.

Improve documentation of 'font-spec'

* doc/lispref/display.texi (Low-Level Font):
* src/font.c (Ffont_spec): Document 'font-spec' keys that are
supported, but were undocumented.

Further doc fixes for dotimes about RESULT

* lisp/subr.el (dotimes): Be even more explicit about RESULT
(bug#16206).

(cherry picked from commit 5b0d8d0f288fd505ca90bd30df709a5e7ab540d6)

; * doc/misc/eshell.texi (Input/Output): Fix typo.

; * INSTALL: Correct a recent change.

Debian stopped including the major version number in the emacs package
name after version 25, so there is no 'emacs27-dbg' package.
We may as well drop this clause altogether, since Debian stable has
version 26.

No need to merge to master (where this information is in etc/PROBLEMS
in any case).

; * lisp/emacs-lisp/benchmark.el (benchmark-run): Fix docstring

; * lib-src/make-fingerprint.c: Update commentary.

Reformat argument commentary in etags.c

* lib-src/etags.c (pfnote, consider_token, C_entries): Resurrect
original format of comments to function arguments.

Make the invocation of combine-change-calls in comment-region valid

This fixes bug #44581.  The problem was that whitespace outside of the (BEG
END) region was being deleted, and this made the invocation of
combine-change-calls with (BEG END) invalid.

* lisp/newcomment.el (comment-region-default): Amend the second argument to
combine-change-calls.

* lisp/progmodes/cc-langs.el (c-<>-notable-chars-re): Fix wrong '-' in regexp

; Update the expected result files in test/manual/etags.

Update the various INSTALL files

* nt/INSTALL.W64:
* nt/INSTALL:
* INSTALL: Update the installation information, in particular the
fact that HarfBuzz is now preferred as the shaping library.

Don't leave lock files after 'replace-buffer-contents'

* src/editfns.c (Freplace_buffer_contents): Unlock the buffer's
file if no changes have been made.  (Bug#44303)

(cherry picked from commit a5867ddfbd721568005175bf6c725f7834b21ea4)

Fix input method translation near read-only text

* lisp/international/quail.el (quail-input-method): Don't disable
input method when the character after point has the read-only
property.  Suggested by Evgeny Zajcev <lg.zevlg@gmail.com>
(Bug#44466)

* doc/emacs/mule.texi (Input Methods): Document that input methods
are inhibited in read-only text.

Fix display of truncated R2L lines on TTY frames

* src/xdisp.c (extend_face_to_end_of_line): Use a while-loop, not
a do-while loop, to avoid appending an extra glyph at the end of a
line that is one character shorter than the window-width.  This is
needed to fix display of reversed glyph rows that are almost as
wide as the window, because append_space_for_newline already added
one space glyph.

Avoid crashes when a reversed glyph row starts with a composition

* src/dispnew.c (build_frame_matrix_from_leaf_window): Add an
assertion to prevent us from overwriting non-char glyphs with the
vertical border glyph.
* src/xdisp.c (extend_face_to_end_of_line): Account for one glyph
possibly inserted by append_space_for_newline.  (Bug#44506)
Remove a kludgey correction for an off-by-one error in column
counting, which is no longer needed.

; * .gitignore: src/fingerprint.c not generated since 2019-04-09.

Update information about refcards

* admin/release-process (refcards):
* admin/make-tarball.txt (refcards): Update information about
generating refcards and required TeX/LaTeX packages.

Avoid crashes in the daemon due to user interaction

* src/minibuf.c (read_minibuf): Avoid crashes in the daemon if the
init file invokes some kind of minibuffer interaction, by not
updating the selected frame if it's the initial frame.
(Bug#44583)

Some minor changes to Tramp, do not merge with master

* lisp/net/tramp.el (tramp-handle-directory-files)
(tramp-handle-directory-files-and-attributes):
* lisp/net/tramp-adb.el
(tramp-adb-handle-directory-files-and-attributes):
* lisp/net/tramp-rclone.el (tramp-rclone-handle-directory-files):
* lisp/net/tramp-sh.el (tramp-sh-handle-directory-files-and-attributes):
* lisp/net/tramp-smb.el (tramp-smb-handle-directory-files): Add _COUNT.
Make the functions forward compatible.

* lisp/net/tramp-gvfs.el (tramp-gvfs-enabled):
Increase `max-specpdl-size' temporarily.

* test/lisp/net/tramp-tests.el (tramp--test-share-p): New defun.
(tramp-test05-expand-file-name-relative): Use it.

Add more doc-view requirements

* lisp/doc-view.el: Add more requirements.

Fix undefined behavior when fetching glyphs from the display vector.

You can trigger this rather obscure bug by enabling selective display
if the second glyph in its display vector has an invalid face.  For
example, evaluate

(set-display-table-slot standard-display-table
                        'selective-display [?A (?B . invalid)])

and then enable selective display.

* src/xdisp.c (next_element_from_display_vector): Check whether next
glyph code is valid before accessing it.

Fix pcase rx form snag with '?' and '??' (bug#44532)

This is a regression from Emacs 26.
Reported by Phillip Stephani.

* lisp/emacs-lisp/rx.el (rx--pcase-transform): Process ? and ?? correctly.
* test/lisp/emacs-lisp/rx-tests.el (rx-pcase): Add test case.

(cherry picked from commit 575b0681d926463960fc00d1e33decaa71d5c956)

Update the doc-view header line

Avoid breaking Arabic shaping in 'window-text-pixel-size'

* src/xdisp.c (CHAR_COMPOSED_P): If the bidi_p flag is not set,
pass -1 to composition_reseat_it, so that the shaping engine will
figure out the directionality of the text.  This is important,
e.g., when using move_it_* functions in some context that is not
redisplay, such as 'window-text-pixel-size'.  (Bug#44521)

doc-view.el comment clarification

* lisp/doc-view.el: Make the commentary mention that it's not
limited to a narrow range of file formats (bug#44504).

Update erc documentation about C-c C-b

* doc/misc/erc.texi (Keystroke Summary): C-c C-b runs
erc-switch-to-buffer, which is implemented in terms of
read-buffer (bug#44498).

Fix 'uudecode-decode-region-internal' in multibyte buffers

* lisp/mail/uudecode.el (uudecode-decode-region-internal): Fix
inserting the decoded string into a multibyte buffer.  Optimize by
working with characters, not strings.  (Bug#44411)

Copyright-paperwork-exempt: yes

Fix 'send-string-to-terminal' writing very long strings

* src/dispnew.c (Fsend_string_to_terminal): Prevent partial writes
by blocking SIGIO while 'fwrite' runs.  (Bug#44320)

* lisp/subr.el (read-char-from-minibuffer): Doc fix.  (Bug#44451)

Merge branch 'emacs-27' of git.savannah.gnu.org:/srv/git/emacs into emacs-27

Fix documentation of 'windmove-swap-states-default-keybindings'

* doc/emacs/windows.texi (Window Convenience): Fix description of
'windmove-swap-states-default-keybindings' and related index
entry.  (Bug#44441)